Tên huyện được đặt theo tên ngọn núi cao nhất vùng - núi Chư Prông. "Chư prông" theo tiếng Jrai có nghĩa là "ngọn núi lớn", "chư" là ngọn núi, "prông" là lớn.[1]

Vùng đất Chư Prông trước năm 1959 thuộc tỉnh Pleiku, vốn được thành lập ngày 24 tháng 5 năm 1932 trên cơ sở phần đất phía nam tỉnh Kon Tum. Bấy giờ, tỉnh gồm hai quận Chư Ty và Pleikli. Ranh giới quận Chư Ty bao gồm vùng đất từ Đức Cơ ngày nay xuống đến phía tây Plei Me. Ranh giới quận Pleikli từ Plei Me kéo dài sang đông đường 14. Địa bàn huyện Chư Prông nằm trọn trong quận Pleikli.

Chính quyền Việt Nam Cộng hòa vẫn tiếp tục lấy tên tỉnh là Pleiku. Bấy giờ, tỉnh Pleiku gồm 4 quận Pleiku, An Khê, Chư Ty và Pleikli.

Ngày 22 tháng 12 năm 1959, tỉnh Pleiku được chia lại thành thành 3 quận: Lệ Trung, Lệ Thanh và Phú Nhơn (quận An Khê được tách ra và nhập vào tỉnh Bình Định. Địa bàn quận Lệ Thanh tương ứng với quận Chư Ty cũ, gồm 3 tổng, 24 xã, trong đó có 4 xã người Kinh và 20 xã người dân tộc Jrai. Địa bàn quận Pleikli lúc này thuộc quận Phú Nhơn, gồm 4 tổng và 9 xã người dân tộc Jrai.

Phía Việt Nam Dân chủ Cộng hòa từ năm 1945, phân địa bàn tương ứng với tỉnh Pleiku gọi là Gia Lai, thành 9 khu (tương đương huyện, thị). Các khu từ khu 1 đến khu 7 là vùng dân tộc thiểu số. Khu 8 là vùng Kinh ở An Khê. Khu 9 là thị xã Pleiku và các đồn điền, vùng phụ cận. Khu 5 là vùng dân tộc thiểu số phía tây đường 14 (thuộc địa bàn huyện Chư Prông, một phần huyện Đức Cơ và tây huyện Chư Sê ngày nay) và phía nam đường 19 kéo dài.

Từ tháng 7 năm 1960, khu 4 và khu 5 phía tây đường 14 được sáp nhập thành khu 45. Đến giữa năm 1961, khu 45 được giải thể, tách ra thành hai khu 4 và 5 như cũ.[2]

Sau năm 1975, huyện Chư Prông thuộc tỉnh Gia Lai - Kon Tum, gồm 18 xã: Bình Giáo, Ia Boòng, Ia Glai, Ia Hlốp, Ia Hrú, Ia Ko, Ia Kriêng, Ia Lang, Ia Le, Ia Mơ, Ia Phìn, Ia Pia, Ia Pnôn, Ia Púch, Ia Tôr, Ia Vê, Nhơn Hòa, Thăng Hưng.

Từ năm 1976 đến nay

Ngày 2 tháng 3 năm 1979:

• Chia xã Ia Mơ thành hai xã lấy tên là xã Ia Mơ và xã Ia Lâu
• Chia xã Ia Hlốp thành hai xã lấy tên là xã Ia Blang và Ia Hlốp
• Chia xã Ia Pia thành hai xã lấy tên là xã Ia Me và xã Ia Pia
• Chia xã Ia Glai thành hai xã lấy tên là xã Ia Glai và xã Ia Băng.

Ngày 17 tháng 8 năm 1981, thành lập thị trấn Chư Prông, thị trấn huyện lỵ huyện Chư Prông; đồng thời, tách 7 xã: Ia Blang, Ia Glai, Ia Hlốp, Ia Hrú, Ia Ko, Ia Le, Nhơn Hòa để sáp nhập vào huyện Chư Sê.

Huyện Chư Prông còn lại thị trấn Chư Prông và 15 xã: Bình Giáo, Ia Băng, Ia Boòng, Ia Kriêng, Ia Lang, Ia Lâu, Ia Me, Ia Mơ, Ia Phìn, Ia Pia, Ia Pnôn, Ia Púch, Ia Tôr, Ia Vê, Thăng Hưng.

Ngày 30 tháng 5 năm 1988, chia xã Ia Pnôn thành 2 xã lấy tên là xã Ia Pnôn và xã Ia Nan; tách các làng Sung O, Tung, Grain Ga của xã Ia Bồng và các làng Krol, Ia, Glang của xã Ia Púch để thành lập xã Ia Ó.

Ngày 12 tháng 8 năm 1991, tỉnh Gia Lai được tái lập, huyện Chư Prông thuộc tỉnh Gia Lai.

Ngày 15 tháng 10 năm 1991, 4 xã: Ia Kriêng, Ia Lang, Ia Nan, Ia Pnôn chuyển sang trực thuộc huyện Đức Cơ.

Huyện Chư Prông còn lại thị trấn Chư Prông và 13 xã: Bình Giáo, Ia Băng, Ia Boòng, Ia Lâu, Ia Me, Ia Mơ, Ia Ó, Ia Phìn, Ia Pia, Ia Púch, Ia Tôr, Ia Vê, Thăng Hưng.

Ngày 21 tháng 8 năm 1998, thành lập xã Bàu Cạn trên cơ sở điều chỉnh 1.300 ha diện tích tự nhiên và 2.900 nhân khẩu của xã Ia Phìn; 1.400 ha diện tích tự nhiên và 900 nhân khẩu của xã Thăng Hưng.

Ngày 13 tháng 5 năm 2002:

• Thành lập xã Ia Ga trên cơ sở 5.464 ha diện tích tự nhiên và 1.042 nhân khẩu của xã Ia Pia, 6.813 ha diện tích tự nhiên và 1.058 nhân khẩu của xã Ia Lâu
• Thành lập xã Ia Piơr trên cơ sở 9.629 ha diện tích tự nhiên và 3.908 nhân khẩu của xã Ia Lâu
• Thành lập xã Ia Drang trên cơ sở 1.421 ha diện tích tự nhiên và 1.486 nhân khẩu của xã Thăng Hưng, 1.931 ha diện tích tự nhiên và 1.039 nhân khẩu của xã Bình Giáo, 753 ha diện tích tự nhiên và 3.056 nhân khẩu của xã Ia Boòng.

Ngày 17 tháng 4 năm 2008:

• Thành lập xã Ia Kly trên cơ sở điều chỉnh 1.735 ha diện tích tự nhiên và 1.902 nhân khẩu của thị trấn Chư Prông, 471 ha diện tích tự nhiên và 374 nhân khẩu của xã Ia Tôr
• Thành lập xã Ia Bang trên cơ sở điều chỉnh 2.197 ha diện tích tự nhiên và 1.587 nhân khẩu của xã Ia Vê, 1.869 ha diện tích tự nhiên và 1.259 nhân khẩu xã Ia Tôr.

Huyện Chư Prông có 1 thị trấn và 19 xã như hiện nay.